Nunn lần đầu tiên tham gia chính trị với tư cách là thành viên của Hạ viện Georgia năm 1968. Ông đã được bầu vào Thượng viện Hoa Kỳ vào năm 1972, đánh bại Thượng nghị sĩ Hoa Kỳ David H. Gambrell tại Thượng viện Dân chủ và Đại diện Hoa Kỳ Fletcher Thompson trong cuộc tổng tuyển cử. Nunn đã nghỉ hưu từ Thượng viện vào năm 1997, cung cấp sự thiếu "nhiệt tình và nhiệt tình" như là sự biện minh. Trong nhiệm kỳ của mình tại Thượng viện Hoa Kỳ, Nunn từng là chủ tịch của Ủy ban Quân sự Thượng viện Hoa Kỳ và Tiểu ban thường trực về điều tra. Ông cũng phục vụ trong Ủy ban Tình báo và Doanh nghiệp nhỏ. Thành tựu lập pháp của ông bao gồm Đạo luật Tái tổ chức Bộ Quốc phòng mang tính bước ngoặt, được soạn thảo với Thượng nghị sĩ Barry Goldwater, và Chương trình Giảm thiểu mối đe dọa hợp tác của Nunn-Lugar, hỗ trợ cho Nga và các nước cộng hòa thuộc Liên Xô cũ để bảo vệ và phá hủy hạt nhân dư thừa của họ, vũ khí sinh học và hóa học.